<!DOCTYPE HTML>
<html>

<head>
	<link rel="bookmark"  type="image/x-icon"  href="/img/logo.jpg"/>
	<link rel="shortcut icon" href="/img/logo.jpg">
	
			    <title>
    北望你的安
    </title>
    <meta charset="utf-8" />
    <meta name="viewport" content="width=device-width, initial-scale=1, user-scalable=no" />
    <link rel="stylesheet" href="/css/mic_main.css" />
    <link rel="stylesheet" href="/css/dropdownMenu.css" />
    <meta name="keywords" content="北望你的安" />
    
    	<script async src="//busuanzi.ibruce.info/busuanzi/2.3/busuanzi.pure.mini.js"></script>
	 
    <noscript>
        <link rel="stylesheet" href="/css/noscript.css" />
    </noscript>
    <style type="text/css">
        body:before {
          content: ' ';
          position: fixed;
          top: 0;
          background: url('/img/bg.jpg') center 0 no-repeat;
          right: 0;
          bottom: 0;
          left: 0;
          background-size: cover; 
        }
    </style>

			    
  


    <script src="/js/jquery.min.js"></script>
    <script src="/js/jquery.scrollex.min.js"></script>
    <script src="/js/jquery.scrolly.min.js"></script>
    <script src="/js/skel.min.js"></script>
    <script src="/js/util.js"></script>
    <script src="/js/main.js"></script>
	
</head>
    
		
<!-- Layouts -->



<!--  代码渲染  -->
<link rel="stylesheet" href="/css/prism_coy.css" />
<link rel="stylesheet" href="/css/typo.css" />
<!-- 文章页 -->
<body class="is-loading">
    <!-- Wrapper 外包 s-->
    <div id="wrapper" class="fade-in">
        <!-- Intro 头部显示 s -->
        <!-- Intro 头部显示 e -->
        <!-- Header 头部logo start -->
        <header id="header">
    <a href="/" class="logo">Krystalan</a>
</header>
        <!-- Nav 导航条 start -->
        <nav id="nav" class="special" >
            <ul class="menu links" >
			<!-- Homepage  主页  --> 
			<li >
	            <a href="/" rel="nofollow">主页</a>
	        </li>
			<!-- categories_name  分类   --> 
	        
	        <li class="active">
	            <a href="#s1">分类</a>
	                    <ul class="submenu">
	                        <li>
	                        <a class="category-link" href="/categories/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0/">强化学习</a></li><li><a class="category-link" href="/categories/%E6%95%B0%E5%AD%A6/">数学</a></li><li><a class="category-link" href="/categories/%E7%AE%97%E6%B3%95/">算法</a></li><li><a class="category-link" href="/categories/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86/">自然语言处理</a></li><li><a class="category-link" href="/categories/%E9%9A%8F%E7%AC%94/">随笔</a>
	                    </ul>
	        </li>
	        
	        <!-- archives  归档   --> 
	        
	        
		        <!-- Pages 自定义   -->
		        
		        <li>
		            <a href="/tags/" title="标签">
		                标签
		            </a>
		        </li>
		        
		        <li>
		            <a href="/gallery/" title="相册">
		                相册
		            </a>
		        </li>
		        


            </ul>
            <!-- icons 图标   -->
			<ul class="icons">
                    
                    <li>
                        <a title="github" href="https://github.com/krystalan" target="_blank" rel="noopener">
                            <i class="icon fa fa-github"></i>
                        </a>
                    </li>
                    
                    <li>
                        <a title="500px" href="https://www.zhihu.com/people/krystalzhu-an" target="_blank" rel="noopener">
                            <i class="icon fa fa-500px"></i>
                        </a>
                    </li>
                    
			</ul>
</nav>

        <div id="main" >
            <div class ="post_page_title_img" style="height: 25rem;background-image: url(/img/8.jpg);background-position: center; background-repeat:no-repeat; background-size:cover;-moz-background-size:cover;overflow:hidden;" >
                <a href="#" style="padding: 4rem 4rem 2rem 4rem ;"><h2 >随机过程 第4章</h2></a>
            </div>
            <!-- Post -->
            <div class="typo" style="padding: 3rem;">
                <h1 id="第四章-马尔可夫链"><a href="#第四章-马尔可夫链" class="headerlink" title="第四章 马尔可夫链"></a>第四章 马尔可夫链</h1><h2 id="4-1-马尔可夫链的定义"><a href="#4-1-马尔可夫链的定义" class="headerlink" title="4.1 马尔可夫链的定义"></a>4.1 马尔可夫链的定义</h2><p><img src="/images/SP/55.jpg" alt="《应用随机过程概率模型导论》">  </p>
<h3 id="4-1-1-将一个过程转变为马尔可夫链的例子"><a href="#4-1-1-将一个过程转变为马尔可夫链的例子" class="headerlink" title="4.1.1 将一个过程转变为马尔可夫链的例子"></a>4.1.1 将一个过程转变为马尔可夫链的例子</h3><p>假设今天是否下雨依赖于前两天的天气条件。具体地，假设如果过去的两天都下雨，那么明天下雨的概率为0.7；假如今天下雨但昨天没下雨，那么明天下雨的概率为0.5；如果昨天下雨，但今天没有下雨，那么明天下雨的概率为0.4；如果过去两天都没有下雨，那么明天下雨的概率为0.2  </p>
<p>显然，如果假设在时间n的状态只依赖于在时间n是否下雨，那么上面的模型就不为一个马尔可夫链。<br>但我们可以通过假定在任意时间的状态是由这天与前一天的天气共同决定，将上面的模型转变为一个马尔可夫链。<br>我们假定过程处在：<br>状态0：如果今天和昨天都下雨<br>状态1：如果今天下雨，但昨天没有<br>状态2：如果昨天下雨，但今天没有<br>状态3：如果今天和昨天都没有下雨<br>这样就可以改写成一个马氏链了。  </p>
<h3 id="4-1-2-随机游动模型"><a href="#4-1-2-随机游动模型" class="headerlink" title="4.1.2 随机游动模型"></a>4.1.2 随机游动模型</h3><p>一个状态空间是由整数i=0,±1,±2,…。如果对于某个数0&lt;p&lt;1，从状态i到状态i+1的概率为p，从状态i到状态i-1的概率为1-p。那么这个给出的马尔可夫链称为随机游动  </p>
<h3 id="4-1-3-赌博模型"><a href="#4-1-3-赌博模型" class="headerlink" title="4.1.3 赌博模型"></a>4.1.3 赌博模型</h3><p>考察一个赌徒，在每局中赢1美元的概率为p，输1美元的概率为1-p。如果我们假设他在破产时或者在财富达到N美元时离开；那么赌徒的财富是一个马氏链，且具有转移概率：<br><img src="/images/SP/56.jpg" alt="《应用随机过程概率模型导论》">    </p>
<h2 id="4-2-C-K方程"><a href="#4-2-C-K方程" class="headerlink" title="4.2 C-K方程"></a>4.2 C-K方程</h2><p><img src="/images/SP/57.jpg" alt="《应用随机过程概率模型导论》">  </p>
<h2 id="4-3-状态的分类"><a href="#4-3-状态的分类" class="headerlink" title="4.3 状态的分类"></a>4.3 状态的分类</h2><h3 id="4-3-1-状态可达与互通"><a href="#4-3-1-状态可达与互通" class="headerlink" title="4.3.1 状态可达与互通"></a>4.3.1 状态可达与互通</h3><p>如果对于某个n≥0有<br><img src="/images/SP/58.jpg" alt="《应用随机过程概率模型导论》"><br>那么状态j是从状态i可达的。<br>如果j不是从i可达的，那么有：<br><img src="/images/SP/59.jpg" alt="《应用随机过程概率模型导论》"><br>互相可达的两个状态i和j称为互通的，写为i&lt;-&gt;j   </p>
<p>两个互通的状态，称为在同一类状态中，那么互通的概念将状态空间分为许多分离的类。若只有一个类（也就是说整个状态空间互通）则称该马氏链不可约。<br>例如，如下转移矩阵描述的随机过程不可约：<br><img src="/images/SP/60.jpg" alt="《应用随机过程概率模型导论》"><br>如下则可约：<br><img src="/images/SP/61.jpg" alt="《应用随机过程概率模型导论》"><br>此马氏链的类是{0，1}、{2}、{3}。</p>
<h3 id="4-3-2-常返态与暂态（非常返态）"><a href="#4-3-2-常返态与暂态（非常返态）" class="headerlink" title="4.3.2 常返态与暂态（非常返态）"></a>4.3.2 常返态与暂态（非常返态）</h3><p>对于任意i，我们以fi记开始在状态i的过程迟早将再进入i的概率。如果fi=1，状态i称为常返态；如果fi&lt;1，状态i称为暂态（非常返态）  </p>
<p>如果状态i是常返态，那么开始在状态i的过程将一再进入i（事实上是无穷多次）<br>如果状态i是暂态，每进入i将有概率1-fi不再进入这个状态。所以开始在状态i的过程将恰好在状态i停留n个时间周期的概率等于（1-fi）fi^(n-1)<br>由此可知，状态i是常返态当且仅当开始在状态i的过程处于状态i的时间周期的期望数是无穷的。<br>因此得到：状态i是<br><img src="/images/SP/62.jpg" alt="《应用随机过程概率模型导论》">   </p>
<p>一个有限状态马尔可夫链中不可能所有的状态都是暂态。<br>如果状态i是常返态，而状态i与状态j互通，那么状态j也是常返态。（即常返态是一个类性质，同时也易知暂态是一个类性质）<br>所以又可知，有限不可约马氏链的所有状态都是常返态。  </p>
<p>来看一个例子：<br><img src="/images/SP/63.jpg" alt="《应用随机过程概率模型导论》"><br>我们先判断这个随机过程当中有哪些类：<br><img src="/images/SP/64.jpg" alt="《应用随机过程概率模型导论》"><br>可以通过画图看出，所有状态都是互通的，那么所有的状态都是常返态。  </p>
<p>再来看一个例子：<br><img src="/images/SP/65.jpg" alt="《应用随机过程概率模型导论》"><br>先判断类：（为了方便判断互通性，画图就不画某状态到自己的连线了）<br><img src="/images/SP/66.jpg" alt="《应用随机过程概率模型导论》"><br>可以看出有三个类：{0，1}、{2，3}、{4}。<br>之后根据公式易判断出{0，1}和{2，3}是常返态，{4}是暂态。</p>
<h3 id="4-3-3-随机游动下的常返态与暂态"><a href="#4-3-3-随机游动下的常返态与暂态" class="headerlink" title="4.3.3 随机游动下的常返态与暂态"></a>4.3.3 随机游动下的常返态与暂态</h3><p>假设，从状态i到状态i+1的概率是p，从状态i到状态i-1的概率是1-p。<br>很明显这个马氏链是不可约的，因为任何两个状态都是可达的。所以我们只需要考虑马氏链状态中的一个状态就好了！<br>假设我们考虑的是状态0，那么根据n的奇偶性有：<br><img src="/images/SP/67.jpg" alt="《应用随机过程概率模型导论》"><br>这里又用到了一个斯特林近似：<br><img src="/images/SP/68.jpg" alt="《应用随机过程概率模型导论》"><br>于是得到：<br><img src="/images/SP/69.jpg" alt="《应用随机过程概率模型导论》"><br>最后可以证出：<br>该马氏链状态常返当且仅当P=0.5，其余值时，这个链是暂态的。<br>同时在二维随机游走上，如果向上下左右移动的概率均为0.25则为常态，其余为暂态。<br>相当有趣的是：尽管一维和二维对称随机游走都是常返的，但是所有更高维的对称随机游走都是暂态的。</p>
<h2 id="4-4-长程性质和极限概率"><a href="#4-4-长程性质和极限概率" class="headerlink" title="4.4 长程性质和极限概率"></a>4.4 长程性质和极限概率</h2><h3 id="4-4-1-基本定义"><a href="#4-4-1-基本定义" class="headerlink" title="4.4.1 基本定义"></a>4.4.1 基本定义</h3><p>对于一对状态i≠j，将从状态i开始的马尔可夫链迟早到达状态j的概率记为fi,j，即：<br><img src="/images/SP/70.jpg" alt="《应用随机过程概率模型导论》"><br>那么我们可以得出如下推论：<br><strong>若i是常返的，且i与j互通，则fi,j=1</strong><br>这是因为，若i与j互通，则必存在一个n使得<br><img src="/images/SP/71.jpg" alt="《应用随机过程概率模型导论》"><br>也就是说，当前状态若为i时，那么n步后就有概率P进入状态j，若没有进入，则该马氏链必会返回状态i（状态i为常态），那么第二次进入状态i后第n步，又有一次概率P进入状态j，以此类推，将有无限次机会进入状态j。则可以将其视为一个几何随机变量，由此推出成功出现的概率迟早为1，从而进入状态j的概率迟早为1。  </p>
<h3 id="4-4-2-正常返与零常返"><a href="#4-4-2-正常返与零常返" class="headerlink" title="4.4.2 正常返与零常返"></a>4.4.2 正常返与零常返</h3><p><img src="/images/SP/72.jpg" alt="《应用随机过程概率模型导论》"><br>如果状态j是常返的，我们将从j开始的马尔可夫链返回状态j的期望转移次数记为mj。<br><img src="/images/SP/73.jpg" alt="《应用随机过程概率模型导论》"><br><strong>若mj小于正无穷，则称状态j为正常返的，若mj为正无穷，则称状态j为零常返的。</strong><br>推论：<br>（1）<strong>若i是正常返的，且i与j互通，则j也是正常返的。即正常返是类的性质，因此还可以得出零常返也是类的性质。</strong><br>（2）一个不可约的有限马氏链必须是正常返的。</p>
<h3 id="4-4-3-长程比例"><a href="#4-4-3-长程比例" class="headerlink" title="4.4.3 长程比例"></a>4.4.3 长程比例</h3><p>长程比例描述马氏链中各个状态之间的出现占比情况。<br>例：将人的情绪考虑为具有转移概率矩阵：<br><img src="/images/SP/74.jpg" alt="《应用随机过程概率模型导论》"><br>那么则有：<br><img src="/images/SP/75.jpg" alt="《应用随机过程概率模型导论》"><br>由此解得：<br><img src="/images/SP/76.jpg" alt="《应用随机过程概率模型导论》">  </p>
<h3 id="4-4-4-概率极限"><a href="#4-4-4-概率极限" class="headerlink" title="4.4.4 概率极限"></a>4.4.4 概率极限</h3><p>我们先来考察一个简单的马氏链，该马氏链仅有两个状态：0和1，当前状态为0是，下一步状态必为1，当前状态为1时，下一步必为0。当n趋进于无穷大时，没有极限。<br>一般地，一个只能在d&gt;1的倍数步回访一个状态的链（在上例中d=2）称为周期的，这时就没有极限概率。然而，对于一个没有周期的不可约链，极限概率总是存在的，且不依赖于初始状态。进而，此链处于状态j的极限概率等于此链处于状态j的长程比例πj。</p>
<h3 id="4-4-5-马尔可夫链蒙特卡罗方法"><a href="#4-4-5-马尔可夫链蒙特卡罗方法" class="headerlink" title="4.4.5 马尔可夫链蒙特卡罗方法"></a>4.4.5 马尔可夫链蒙特卡罗方法</h3><p>推荐几份资料进行阅读：<br>1.<a href="https://zhuanlan.zhihu.com/p/32319959" target="_blank" rel="noopener">https://zhuanlan.zhihu.com/p/32319959</a><br>2.<a href="https://www.cnblogs.com/pinard/p/6625739.html" target="_blank" rel="noopener">https://www.cnblogs.com/pinard/p/6625739.html</a><br>3.<a href="https://zhuanlan.zhihu.com/p/109415693" target="_blank" rel="noopener">https://zhuanlan.zhihu.com/p/109415693</a></p>
<p>（随机过程其实还有很多内容，例如：独立增量过程、二阶矩过程、平稳过程、更新过程、泊松过程、维纳过程等等，但对于机器学习而言，我暂时觉得只用了解马尔可夫链以及MCMC就够了，因此<strong>关于随机过程的笔记在这里就算完结了</strong>，如果在之后的学习过程当中发现有关随机过程还需要学习的内容会再进行深入的学习，另外我自己在看随机过程的时候并没有看懂MCMC，经过我查阅资料我发现这还牵扯到了另一门学科《贝叶斯统计》，如果有时间我也会去尝试看一下这本书的）</p>

            </div>

            <!-- Post Comments -->
            

        </div>
        <!-- Copyright 版权 start -->
                <div id="copyright">
            <ul>
                <li>&copy;2020 北望你的安. 版权所有</li>
            </ul>
            
                <span id="busuanzi_container_site_pv">本站总访问量<span id="busuanzi_value_site_pv"></span>次，</span>
				<span id="busuanzi_container_site_uv"> 访客数 <span id="busuanzi_value_site_uv"></span> 人. </span>
			
			<br>
			<span>友情链接：<a href='http://www.demilab.cn' target='_blank'>DEMI实验室</a>&nbsp;&nbsp;&nbsp;<a href='http://zd11024.cn/' target='_blank'>ZD</a></span>
        </div>
    </div>
</body>



 	
</html>
